Predictive Divergence Masks for LLM RL
预测散度掩码：LLM 强化学习的信任域方向优化
🧭 LLM 强化学习 · 信任域方向准则
Tencent Hunyuan · UIUC · NUS
提出预测散度掩码替代 PPO 比率方向测试，用散度变化预测决定是否屏蔽 token
📌 工作参考价值（4 点）
- 在推荐/Agent 的 RL 策略训练中，PPO 原有的 ratio 方向屏蔽可能导致错误保留会使散度增大的更新，改用散度方向预测可提升离线更新的稳定性与效率。
- 当策略输出为 top-K 候选时（如推荐列表生成、对话动作筛选），论文的两种轻量级 top-K 估计器可直接嵌入，无需完整分布即可计算散度变化方向。
- 预测散度掩码的闭式解计算开销低，适合大规模线上 RL 训练时的 token 级动态屏蔽，降低训练-推理分布漂移风险。
- 该方法对模型规模与精度设置鲁棒，可以无缝集成到现有 PPO/DPPO 训练框架中，改善 reward hacking 并提升最终策略质量。